Ông sinh ra trong một gia đình có ba người con, ông là con thứ. Anh cả là Nguyễn Văn Sử, ông tên khai sinh là Nguyễn Thế Trí nhưng vì kiêng huý tên ông ngoại là Hoàng Văn Chí mà sửa thành dấu "sắc" thành dấu "nặng" nên mới có tên gọi như ngày nay, người em gái tên là Nguyễn Thị Thành ốm chết trên đường chạy loạn. Tuổi thơ gia đình ông thiếu thốn đủ bề, gia cảnh thuần nông nguồn, sống chính là làm nghề cấy rẽ và làm hàng xáo. Cha ông đi lấy vợ lẽ sinh được 3 người con trai nữa là: Nguyễn Văn Chính, Nguyễn Văn Trịnh và Nguyễn Văn Thủy. Từ nhỏ 2 anh em ông ở với bác ruột là Hoàng Thị Thí rồi được bác nhận làm con nuôi.